重新思考 CTR 预测中的位置编码与交互粒度
🧭 CTR 预测 · 位置编码与交互粒度 ★ 深度解读
Wuhan University · Tencent Inc. · Peking University
提出 TRIP，结合目标感知的秩-时间位置编码与时间组因果交互，显著提升 CTR 预测 AUC
📌 工作参考价值（4 点）
- 在用户行为序列建模中，不要盲目使用标准位置编码（如 learned APE、RoPE），很多情况下 NoPE 可能持平或更好；但结合序列 rank 与目标相对时间（target-relative time）的编码能稳定提升，低秩分解可大幅减少参数（3.8–21.6×）。
- 将行为序列按距当前请求的时间间隔分组（对数时间桶），组内做双向 attention，组间保持 causal，既捕捉短期兴趣又保留长期演化；组摘要压缩可降低 6.3–32.8% 训练时间，且 AUC 不降反升。
- 引入 masked item reconstruction 辅助任务（仅训练时启用），可增强行为表示的上下文学习，不增加推理成本。
- 对时间偏置做密度校正（减去 λ log 频次），防止高频时间桶主导注意力，在电商/广告数据中尤其重要。
每日物品Embedding跨日兼容性：对齐、尺度管理与CTR适应实证研究
🧭 Embedding跨日对齐与尺度管理 ★ 深度解读
LY Corporation
实证对比48种配置，发现warm start + 全局尺度重缩放将跨日GAUC提升4.0%，下游CTR编码器可进一步对齐残差漂移
📌 工作参考价值（4 点）
- 每日更新 item embedding 的团队：优先评估 warm start + 每日全局 rescale（warm_norm），它把跨日 norm 漂移从 +102.5% 压到 +8.2%，并取得最高 GAUC +4.0%；若无法维护 state，先上 OP 对齐，保留 cosine 检索排序且 GAUC +2.6%。
- 评估 embedding 质量不要只看 recall：XSimGCL recall 高出 Word2Vec 76.4%，但 GAUC 反而 -0.5%；必须联合 GAUC/LogLoss 和检索指标，cosine/L2 只适合做漂移监控。
- 在 CTR 模型里加一个共享 item encoder（降维）而非直接接原始 embedding，可以进一步吸收跨天残差；对照 random projection / SVD / untrained encoder 能诊断是否真的学到跨版本对齐。
- 工程上先以 OP 为低成本基线，再用 warm_norm 做 A/B；注意 warm_norm 的 scale 管理通过后续训练动态生效，不是简单最终归一化。
ECHO：蒸馏引导的高效级联超长序列建模
🧭 长序列用户行为建模 · 蒸馏级联检索 ★ 深度解读
Kuaishou Technology
蒸馏引导的用户级选择+目标感知检索，将100K长序列压缩至10K原始记录，在线计算量降160倍且GAUC提升
📌 工作参考价值（4 点）
- 用户级选择器离线写、在线只读固定K条记录：将100K原始历史压缩为10K原始事件记录，在线排序只对K条做目标感知检索，完全解耦在线计算与原始序列长度。适合电商/广告场景下用户长期行为超长、多候选排序的工程落地。
- 蒸馏监督替代简单的最近截断：用全历史教师的目标感知打分做软分布蒸馏，再加边界排序辅助损失，让选择器在用户级就保留目标相关的历史。可直接借鉴到召回/精排的长期行为筛选，尤其对长尾兴趣和稀疏反馈更友好。
- 教师、检索器、目标注意力共享Q/K参数：保证粗选和精排的相关性度量一致，避免两阶段不一致导致的召回损失。工程实现上可用 key-side projection absorption 省去历史向量投影缓存。
- 紧凑记录编码降低存储成本：按字段宽度打包而不是统一int64，100亿用户规模下可节省数百TB存储。对大规模推荐系统的用户行为存储设计有直接参考价值。
FLMNet：从 mask 到 seed 的单塔 CTR 自集成蒸馏
🧭 单塔 CTR 训练 · 自蒸馏闭式正则 ★ 深度解读
National University of Singapore · University of Science and Technology of China
把 masked 自集成目标推到无穷 mask 极限，得到闭式 Jensen gap 正则，单塔一次前向即可训练；再叠加跨 seed 蒸馏
📌 工作参考价值（4 点）
- 工程上若现有 CTR 塔含 dropout 且想做 self-ensemble，不必采样多次：把 gate 改成读未 mask 的 embedding、readout 保持 affine、层间 coordinatewise rescale，就能用高斯-埃尔米特闭式代理训练，成本接近单次前向，可直接迁移到 DCN/DeepFM 类单塔。
- 调参时注意：普通 dropout 对应 κ=1，FinalNet/QNN 式自蒸馏是 κ>1；单独去掉辅助 loss 而不调 dropout rate 会同时降低有效剂量 κ·ρ/(1-ρ)，容易误判增益来源。
- 离线蒸馏：训练同架构不同 seed 的 K 个塔，用 pooled logit 做 teacher，student 只回归 logit（不读 label），可吸收部分集成增益，上线仍是单塔；成本 K+1 次训练，适合广告/电商模型定期刷新。
- 门控自蒸馏中，gate 必须读未 mask 输入，不能读上层的 masked carrier；否则 mean logit≠clean forward pass，闭式失效，实测 Criteo 上 AUC 掉 10.5e-4。
PRIME：用插件式残差输入条件 MoE 缓解共享 CTR Top 网络中的子群优化竞争
🧭 CTR 预测 · 条件 MoE 残差插件 ★ 深度解读
Ant Group · Henan Polytechnic University · Independent Researcher · Alibaba Inc.
提出 Dense 锚定的低秩残差输入条件 MoE 插件，以零残差初始化保持原模型不变，缓解共享 Top-NN 子群梯度竞争并提升 CTR 精度
📌 工作参考价值（5 点）
- 用「锚定原预测 + 零残差初始化」给线上 CTR 模型加条件分支：训练起点与原模型完全一致，避免直接替换 Dense 路径带来的函数突变和上线风险，适合对已有精排模型做渐进式安全升级。
- 条件路由必须放在决策相关表征上：如果子群体差异在特征交叉后才出现，用 pre-cross embedding 路由会失效；建议按业务场景选择路由输入层（如中间 cross 层），并在不同骨架上做消融验证。
- 低秩专家 rank q=16 + 多 bag 平均（G=4）在很小参数/推理开销下获得中位数 AUC 提升；可作为多场景、多广告位精排模型的轻量条件化方案，避免复制完整 MLP。
- 负载均衡用 EMA 更新 router bias，不加 auxiliary loss，消除平衡系数调参和对主目标的干扰；该做法可直接复用到多目标/多场景 MoE。
- 用业务语义分组（站点、设备、时段）对比随机组梯度 cosine，可先诊断共享层是否存在子群竞争，再决定是否需要条件化改造。